<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en-us" lang="en-us">
<head>
  <link href="//gmpg.org/xfn/11" rel="profile">
  <meta http-equiv="content-type" content="text/html; charset=utf-8">
  <meta name="generator" content="Hugo 0.68.3" />

  
  <meta name="viewport" content="width=device-width, initial-scale=1.0">

  <title>爬虫的概念及Http与Https之间的区别 &middot; MY Blog</title>

  
  <link type="text/css" rel="stylesheet" href="/rliners_technology_blog/css/print.css" media="print">
  <link type="text/css" rel="stylesheet" href="/rliners_technology_blog/css/poole.css">
  <link type="text/css" rel="stylesheet" href="/rliners_technology_blog/css/syntax.css">
  <link type="text/css" rel="stylesheet" href="/rliners_technology_blog/css/hyde.css">
    <link rel="stylesheet" href="https://fonts.googleapis.com/css?family=Abril+Fatface|PT+Sans:400,400i,700">


  
  <link rel="apple-touch-icon-precomposed" sizes="144x144" href="/apple-touch-icon-144-precomposed.png">
  <link rel="shortcut icon" href="/favicon.png">

  
  
</head>

  <body class="theme-base-08 ">
  <aside class="sidebar">
  <div class="container sidebar-sticky">
    <div class="sidebar-about">
      <a href="/rliners_technology_blog/"><h1>MY Blog</h1></a>
      <p class="lead">
       这里是Rliner的个人博客 
      </p>
    </div>

    <nav>
      <ul class="sidebar-nav">
        <li><a href="/rliners_technology_blog/">Home</a> </li>
        
      </ul>
    </nav>

    <p>&copy; 2020. All rights reserved. </p>
  </div>
</aside>

    <main class="content container">
    <div class="post">
  <h1>爬虫的概念及Http与Https之间的区别</h1>
  <time datetime=2019-06-07T21:04:54&#43;0800 class="post-date">Fri, Jun 7, 2019</time>
  <h3 id="爬虫的概念">爬虫的概念</h3>
<h3 id="爬虫-又称网页蜘蛛或网络机器人">爬虫, 又称网页蜘蛛或网络机器人.</h3>
<h3 id="爬虫是-模拟人操作客户端浏览器-app---向服务器发起网络请求----抓取数据的自动化程序或脚本">爬虫是 模拟人操作客户端(浏览器, APP)   向服务器发起网络请求    抓取数据的自动化程序或脚本.</h3>
<h3 id="-说明"># 说明:</h3>
<h3 id="1模拟-用爬虫程序伪装出人的行为-避免被服务识别为爬虫程序">1.模拟: 用爬虫程序伪装出人的行为, 避免被服务识别为爬虫程序</h3>
<h3 id="2客户端-浏览器-app都可以实现人与服务器之间的交互行为-应用客户端从服务器获取数据">2.客户端: 浏览器, APP都可以实现人与服务器之间的交互行为, 应用客户端从服务器获取数据</h3>
<h3 id="3自动化-数据量较小时可以人工获取数据-但往往在公司中爬取的数据量在百万条-千万条级别的-所以要程序自动化获取数据">3.自动化: 数据量较小时可以人工获取数据, 但往往在公司中爬取的数据量在百万条, 千万条级别的, 所以要程序自动化获取数据.</h3>
<h3 id="爬虫的语言">爬虫的语言</h3>
<h3 id="-爬虫语言php-cc-java-python"># 爬虫语言:PHP, C/C++, Java, Python</h3>
<h3 id="-对比"># 对比:</h3>
<h3 id="php-并发能力差-对多进程和多线程支持不好-数据量较大时爬虫效率较低">PHP: 并发能力差, 对多进程和多线程支持不好, 数据量较大时爬虫效率较低</h3>
<h3 id="cc-语言效率高-但学习成本高-对程序员的技术能力要求较高--所以目前还停留在研究层面-市场需求量很小">C/C++: 语言效率高, 但学习成本高, 对程序员的技术能力要求较高,  所以目前还停留在研究层面, 市场需求量很小</h3>
<h3 id="java-python爬虫的主要竞争对手-由于java语言的特点-代码臃肿-代码量大-维护成本重构成本高-开发效率低-但目前市场上岗位需求比较旺盛">Java: Python爬虫的主要竞争对手, 由于Java语言的特点, 代码臃肿, 代码量大, 维护成本重构成本高, 开发效率低. 但目前市场上岗位需求比较旺盛.</h3>
<h3 id="python语法简单-学习成本较低-对新手比较友好-python语言良好的生态-大量库和框架的支持是的python爬虫目前处于爬虫圈的主导地位">Python:语法简单, 学习成本较低, 对新手比较友好. Python语言良好的生态, 大量库和框架的支持是的Python爬虫目前处于爬虫圈的主导地位.</h3>
<h3 id="爬虫分类">爬虫分类</h3>
<h3 id="可分为通用爬虫与聚焦爬虫两种">可分为通用爬虫与聚焦爬虫两种</h3>
<h3 id="通用爬虫一般为搜索引擎服务聚焦爬虫则是指针对某一领域根据特定要求而实现的爬虫程序">#通用爬虫一般为搜索引擎服务,聚焦爬虫则是指针对某一领域根据特定要求而实现的爬虫程序.</h3>
<h3 id="http协议与https协议">HTTP协议与HTTPS协议</h3>
<h3 id="-http协议-明文传输-端口80"># HTTP协议: 明文传输, 端口80</h3>
<h3 id="--http协议-全称为hyper-text-transfer-protocol-即超文本传输协议">- Http协议, 全称为Hyper Text Transfer Protocol, 即超文本传输协议.</h3>
<h3 id="--http协议是用于从网络传输超文本数据到本地浏览器的传送协议-它能保证高效而准确地传送超文本文档">- HTTP协议是用于从网络传输超文本数据到本地浏览器的传送协议, 它能保证高效而准确地传送超文本文档.</h3>
<h3 id="--目前广泛使用的是http-11版本">- 目前广泛使用的是HTTP 1.1版本</h3>
<h3 id="-https协议-加密传输-端口443"># HTTPS协议: 加密传输, 端口443</h3>
<h3 id="--https全称是hyper-text-transfer-protocol-over-secure-socket-layer-是以安全为目标的http通道-https协议实质是http的安全版-即http下加入ssl层-简称https">- HTTPS全称是Hyper Text Transfer Protocol over Secure Socket Layer, 是以安全为目标的HTTP通道. HTTPS协议实质是HTTP的安全版, 即HTTP下加入SSL层, 简称HTTPS.</h3>
<h3 id="--https的安全体现在ssl的加密行为-即通过https协议传输的数据都是经过ssl加密的">- HTTPS的安全体现在SSL的加密行为, 即通过HTTPS协议传输的数据都是经过SSL加密的</h3>
<h3 id="--https的作用">- HTTPS的作用:</h3>
<pre><code>### 1.建立一个信息安全的通道来保证数据传输的安全
### 2.确认网站的真实性, 凡是使用了HTTPS的网站, 都可以通过点击浏览器地址栏的锁头标志来查看网站认证之后的真实信息, 也可以通过CA机构颁发的安全签章来查询
</code></pre>

</div>


    </main>

    
  </body>
</html>
